前一篇，我們有提到怎麼用使用 Tensorflow 官方包好的 Docker Image 來建構 Tensorflow Serving，但實際上你很可能會自己使用的情境進行微調。所以更常見的是複製 Tensorflow 官方提供的 Docker file，在 Docker file 額外再添加一些客製化指令。

不同的 Docker Image 種類

• latest: 最小化的 TensorFlow Serving (CPU)
• latest-gpu: 最小化的 TensorFlow Serving，且包含安裝好 GPU 環境。
• latest-devel: 內含所有跟開發有關原始碼跟工具，提供的是 CPU 環境。
• latest-devel-gpu: 內含所有跟開發有關原始碼跟工具，可支援 NVIDIA GPU 環境。

CPU (Graphics processing unit) ：圖形處理器，又稱顯示核心、顯示卡、視覺處理器、顯示晶片或繪圖晶片）

下載 image

docker pull tensorflow/serving:latest-devel
docker pull tensorflow/serving:latest-devel-gpu

建構自己的 image

如果要建構自己的 image，可以用 Docker build 指令打包。

下載原始檔

git clone https://github.com/tensorflow/serving
cd serving

四種版本，看你需要哪一種。

# Dockerfile:

docker build --pull -t $USER/tensorflow-serving .

# Dockerfile.gpu:

docker build --pull -t $USER/tensorflow-serving-gpu -f Dockerfile.gpu .

# Dockerfile.devel:

docker build --pull -t $USER/tensorflow-serving-devel -f Dockerfile.devel .

# Dockerfile.devel-gpu:

docker build --pull -t $USER/tensorflow-serving-devel-gpu -f Dockerfile.devel-gpu .

### 開始運行 TensorFlow 服務

docker run -t --rm -p 8501:8501 \
    -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" \
    -e MODEL_NAME=half_plus_two \
    $USER/tensorflow-serving &

參考資料

• https://www.tensorflow.org/tfx/serving/building_with_docker
• https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/building_with_docker.md